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摘要 : [目的 /意义 ] 随 着 知识 服务 平台 的 发 展 ,如 何 通 过 评估 改善 知识 服务 平台 的 功能 和 设计 以 更 好 地 服 
务 于 用 户 成 为 重要 的 问题 。 本 文 旨 在 探讨 知识 服务 平台 的 评估 和 要素 和 评估 标准 ,为 知识 服务 平台 的 评估 实践 
提供 理论 指导 。[ 方 法 /过 程 ] 从 信息 检索 系统 评估 出 发 ,回顾 和 梳理 信息 检索 系统 评估 、 数 字 图 书馆 评估 的 相 
关 研 究 和 理论 模型 .数字 图 书馆 的 评估 要 素 和 标准 。[ 结果 /结论 ] 基 于 总 结 和 归纳 以 往 信息 服务 类 系统 的 评估 
要 素 , 结 合 知 识 服务 平台 的 特征 ,阐述 知识 服务 平台 评估 的 要 素 和 评估 标准 。 
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理论 框架 


随 着 数字 图 书馆 的 发 展 以 及 知识 服务 需求 的 增 
零 S 越 来 越 多 的 数字 图 书馆 超越 了 以 往 信息 服务 的 范 
降 - 这 向 知识 服务 领域 ,并 从 服务 内 容 和 服务 手段 方面 
实现 了 对 传统 信息 检索 系统 和 数字 图 书馆 的 延伸 和 拓 
同形 成 了 新 型 的 知识 服务 平台 。 国 内 知名 的 数字 图 
书包 , 包 括 CNKI \ 万 方 和 维普 ,都 在 近年 来 增加 了 新 的 
服 筋 功能 ,明确 了 新 的 知识 服务 方向 。 如 新 版 的 CNKI 
提 息 “行业 知识 服务 和 知识 管理 平台 ”“ 研 究 学 习 平 
台 汪 专题 知识 库 ” 等 板块 ,同时 提供 不 同 角 度 的 文献 
计 苔 分 析 , 从 而 不 仅 为 用 户 提供 文献 的 信息 服务 ,同时 
基 各 对 文献 的 分 析 和 挖 握 , 为 用 户 提供 不 同 层面 的 知 
识 服 务 。 此 外 ,为 更 广泛 地 为 用 户 提供 服务 ,包括 企 、 
事业 单位 等 不 同 的 机 构 和 组 织 提供 知识 服务 也 成 为 知 
识 服务 平台 的 重要 任务 。 国 外 方面 , Wiley 和 Flsevier 
等 传统 的 数字 图 书馆 均 在 近年 来 调整 定位 ,开展 旨 在 
为 用 户 提供 学 术 研究 ,专业 领域 支持 等 多 方面 的 知识 
服务 ;Elsevier 还 拓展 其 医疗 知识 服务 ,同时 为 用 户 提 


问题 ,试图 为 后 续 的 知识 服务 平台 评估 理论 研究 和 实 
践 发 展 提供 借鉴 。 

本 文 将 知识 服务 平台 定位 为 信息 服务 类 系统 ,从 
传统 信息 检索 系统 评估 入 手 , 回 顾 数字 图 书馆 的 评估 
理论 模型 ,并 从 中 析出 知识 服务 平台 的 评估 要 素 ,结合 
知识 服务 的 特点 ,阐述 知识 服务 平台 评估 的 各 要 素 和 
评估 标准 。 


2 早期 的 信息 检索 系统 评估 
信息 检索 系统 评估 是 发 现 系 统 不 足 ,完善 系统 功 


能 设计 ,满足 用 户 信息 需求 ,提升 用 户 体验 ,进而 提升 
言 息 服 务 质量 的 重要 途径 。 信 息 检索 系统 是 一 个 不 断 
发 展 的 概念 ,广义 上 来 看 ,信息 检索 系统 包括 :传统 的 
文献 数据 库 , 如 早期 的 Dialog 系统 ;数字 图 书馆 ,如 我 
辐 的 CNKI .美国 的 ACM 数字 图 书馆 等 ;互联 网 环境 下 
诞生 的 网 络 搜索 引擎 ,如 Google Baidu 系统 等 ;顺应 知 
识 管理 和 服务 需求 逐步 发 展 起 来 的 知识 服务 平台 。 对 
这 些 不 同类 型 的 信息 检索 系统 的 评估 ,是 信息 服务 类 


供 文献 分 析 ,趋势 预测 、 作 者 服务 等 多 项 增值 服务 ”。 
国内 外 的 发 展 趋势 均 表 明知 识 服务 平台 将 成 为 新 型 的 
信息 和 知识 服务 系统 。 然 而 ,相对 于 莲 勃 发 展 的 知识 
服务 平台 的 开发 和 建设 ,如 何 评估 其 功能 和 绩效 ? 尤 
其 是 结合 知识 服务 的 目的 和 特点 开展 知识 服务 平台 的 
评估 ? 学 术 界 依然 鲜 有 探讨 。 因 而 ,本 文 将 探讨 这 一 


系统 开发 和 建设 的 需要 ,也 是 系统 开发 ,建设 和 不 断 完 
善 过 程 中 必 不 可 少 的 环节 。 早 期 最 著名 的 信息 检索 系 
统 评估 当 属 Cranfield 检测 (Cranfield tests ) 。 Cranfield 
检测 是 由 C. W. Cleverdon 主持 的 .长 达 10 余年 的 信息 
检索 系统 评估 项 目 。 前 期 研究 开始 于 1953 年 ”, 是 
Cranfield 1 的 预 实验 , 即 采 用 单元 词 标 引 航空 文献 。 此 
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后 开展 的 正式 研究 分 两 个 阶段 完成 ,包括 1957 - 1961 
年 的 Cranfield 1 及 1963 -1966 年 的 Cranfield 2。Cran- 
field 1 的 目的 是 研究 和 比较 4 种 标 引 的 效率 ,包括 通 
用 十 进 制 分 类 法 (The Universal Decimal Classification ， 
UDC) 字 顺 主题 词 表 (Alphabetical subject catalogue ) 、 
分 面 分 类 体系 (A faceted classification scheme ) 及 组 配 
标 引 的 单元 词 系统 (The uniterm system of coordinate in- 
dexing) 。Cranfield 1 的 实验 结果 表明 了 信息 检索 (in- 
formation retrieval ,IR) 系统 评估 的 必要 性 和 可 行 性 , 初 
步 确 立 了 系统 评估 的 方法 和 模式 。 同 时 ,揭示 了 查 全 
率 与 查 准 率 之 间 的 关系 ,其 研究 结果 为 Cranfield 2 的 
开展 芮 定 了 基础 。Cranfield 2 扩大 了 样本 量 , 尽 可 能 采 
用 接近 真实 的 检索 问题 ,同时 引入 了 相关 性 判断 ,以 寻 
玲 更 可 靠 和 有 效 的 研究 结果 。 总 之 ,历时 10 余年 的 
Cald 检测 留 下 了 丰富 的 学 术 资 产 ,深刻 地 影响 了 

6 系统 评估 ,在 情报 学 发 展 的 历史 上 留 下 了 浓墨重彩 


次 由 平 没有 区 别 , 对 人 们 理解 和 认识 信息 检索 系统 产 
也 积极 和 正面 的 影响 。 更 为 重要 的 是 ,Cranfield 实 
验 虐 方法 论 上 明确 了 信息 检索 实验 的 标准 ,确立 了 测 
试 奢 的 概念 及 实验 的 流程 .评价 指标 等 ,为 此 后 系统 导 
是 讽 IR 系统 评估 的 开展 奠定 了 理论 和 实践 基础 。 其 
确 仿 的 方法 体系 至 今 仍然 在 Text Retrieval Conference 
CRPC) 实验 中 被 广泛 运用 。 

它 TREC 会 议 始 于 1992 年 ,是 美国 从 政府 层面 试图 
推动 产 .学研 结 合 而 推出 的 重要 学 术 会 议 ,目前 已 发 
民 颇 全 球 性 的 国际 学 术 会 议 ,并 吸引 了 不 同 的 国家 和 
地 区 开展 相应 的 学 术 研 究 活动 ,试图 通过 利用 和 传播 
在 信息 检索 领域 的 学 术 研 究 成 果 促进 社会 对 信息 和 信 
息 技术 的 运用 。 第 一 届 TREC 会 议 于 1992 年 11 月 在 
马里 兰州 的 Gaithersburg 召开 。 最 初 的 TREC 会 议 关 
注 的 内 容 相对 比较 狭窄, 聚焦 于 文本 信息 的 检索 。 近 
年 来 , 随 着 网 络 信息 资源 的 不 断 丰富 及 信息 检索 系统 
概念 的 扩展 ,TREC 会 议 不 断 地 调整 会 议 主题 ,跟踪 前 


早期 信息 检索 系统 评估 研究 中 ,不 同 于 系统 导 癌 
特征 明显 的 Cranfield 检测 ,MEDLARS 系统 的 绩效 评估 
则 体现 了 用 户 导 向 的 IR 系统 评估 的 特点 。MEDLARS 
评估 的 目的 包括 :QD 研究 该 系统 用 户 的 搜索 要 求 ;@) 
探究 MEDLARS 服务 如 何 高 效 和 有 效 地 满足 这 些 要 
求 ;@) 识别 影响 系统 绩效 的 不 利 因素 ;@ 揭示 如 何 更 
有 效 和 经 济 地 满足 MEDLARS 用 户 搜索 要 求 的 方法 ， 
其 是 为 如 何 更 有 效 地 利用 新 一 代 的 设备 和 程序 提出 
建议 ”。 评 估 中 使 用 的 检测 请 求 〈test requests ) 来 源 
于 用 户 的 真实 需求 ,同时 兼顾 用 户 搜索 主题 的 代表 性 ， 
即 搜索 主题 涵盖 MEDLARS 系统 所 收录 的 不 同 领域 的 
内 容 。 用 户 方面 ,选择 了 20 个 医疗 组 织 形 成 了 用 户 
群 , 并 邀请 他 们 参与 该 项 评 佑 。 然 而 ,评估 指标 方面 
依然 着 重 考察 查 全 率 和 查 准 率 ,并 详细 地 分 析 了 查 
全 率 和 查 准 率 失 败 的 原因 ,同时 指出 了 用 户 与 系统 
的 交互 障碍 是 导致 失败 的 重要 原因 之 一 。MEDLARS 
系统 评估 是 早期 的 评 佑 研究 中 不 多 见 的 将 用 户 纳入 
考虑 的 评估 项 目 , 尤 其 是 对 用 户 与 系统 交互 的 分 析 ， 
为 此 后 用 户 导 向 的 信息 检索 系统 评估 实践 和 发 展 英 
定 了 基础 。 


3 数字 图 书馆 评估 理论 模型 


随 着 传统 的 信息 检索 系统 向 数字 图 书馆 方向 的 发 
展 , 数 字 图 书馆 的 评估 成 为 IR 评估 领域 的 焦点 。 在 数 
字 图 书馆 评估 领域 ,系统 导向 的 评估 依然 占据 主导 地 
位 ”。 然 而 ,用 户 导向 的 数字 图 书馆 评估 因 其 能 更 有 
效 地 支持 数字 图 书馆 的 改善 和 服务 能 力 的 提升 而 受到 
重视 。 

T. Saracevic” 曾 指出 ,数字 图 书馆 的 评估 滞后 于 
蓬勃 发 展 的 数字 图 书馆 的 建设 和 实践 。 为 此 ,基于 对 
传统 信息 检索 系统 研究 的 回顾 ,他 讨论 了 数字 图 书馆 
的 概念 .评估 的 内 容 . 评 估 的 标准 .评估 的 方法 及 评估 
数字 图 书馆 的 原因 ,提出 了 一 个 帮助 我 们 思考 如 何 评 
洁 数 字 图 书馆 的 框架 '” ,涵盖 评估 的 要 素 和 关键 问题 ， 
具体 内 容 包 括 :@ 评估 的 概念 :评估 什么 ? 什么 是 数 


沿 领域 ,拓展 研究 范围 ,会 议 的 内 容 和 形式 日 益 丰 富 。 
除 传统 的 文档 资料 外 ,TREC 会 议 着 眼 于 多 种 信息 载体 
类 型 的 检索 研究 ,如 语音 、 视 频 。 此 外 TREC 还 关注 非 
英语 文档 检索 和 跨 语 言 检索 。TREC 会 议 通 过 评估 的 
方式 不 断 推动 信息 检索 技术 水 平 的 提升 和 改善 。 
TREC 会 议 所 建立 的 评估 范式 和 各 种 测试 集 极 大 地 影 
响 了 信息 检索 系统 技术 及 评估 的 发 展 。 如 今 ,TREC 会 
议 已 经 成 为 信息 检索 领域 最 重要 的 会 议 之 一 。 


字 图 书馆 ? 包含 什么 内 容 ? 评估 包括 哪些 要 素 ?@ 评 
占 的 环境 :选择 评估 的 目标 框架 、 观 点 或 者 选择 评估 
的 层级 。 评 佑 包括 哪些 层次 ?对 评估 的 某 个 层次 来 说 
哪些 是 关键 的 问题 ? 最 后 ,不 同 层次 的 评估 目的 是 什 
么 ? 加 评估 的 标准 : 标准 反映 了 与 评估 目的 相关 的 绩 
效 表 现 。 评 估 应 聚焦 于 何 种 绩效 参数 ?评估 何 种 维度 
和 特点 ?测度 :测度 指标 反映 选择 的 标准 以 记录 系 
统 绩效 。 评 佑 过 程 中 针对 选择 的 标准 ,应 采用 哪些 具 
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体 的 测度 指标 ? 加 评估 的 方法 :使 用 哪些 测量 手段 和 
工具 ? 如 何 取样 ? 数据 收集 采用 什么 程序 ?数据 分 析 
采用 什么 方法 ? 

T. Saracevic 所 提出 的 框架 为 数字 图 书馆 评估 的 理 
论 和 实践 研究 提供 了 指导 。 

交互 是 用 户 获 取 系 统 资源 的 重要 手段 。N. Fuhr 
等 中 提出 了 一 个 以 交互 为 核心 的 数字 图 书馆 评估 三 维 


针对 用 户 评估 数字 图 书馆 视角 的 不 同 , 或 评估 目的 的 
不 同 , 评 估 的 标准 和 要 素 也 呈现 出 差异 性 , 且 不 同 的 标 
准 发 挥 的 作用 不 同 。 这 些 评估 模型 和 评估 标准 的 提出 
与 验证 ,及 对 不 同 的 标准 在 评估 中 发 挥 作用 的 探讨 ,为 
进一步 构建 知识 服务 平台 评估 框架 提供 了 方法 。 

尽管 数字 图 书馆 和 知识 服务 平台 在 服务 目的 \ 提 
供 的 最 终 产品 、 针 对 的 用 户 需 求 .服务 形式 等 方面 各 有 


模型 ,三 维 指 用 户 、 内 容 和 系统 三 大 交互 要 素 及 它们 之 
间 的 关系 。 他 们 指出 ,数字 图 书馆 的 评估 应 该 关注 这 
三 个 要 素 ,并 着 重 评估 三 者 之 间 的 关系 :用 户 与 内 容 之 


侧重 ,然而 ,知识 服务 平台 体现 了 数字 图 书馆 的 诸多 特 
征 ,包括 系统 界面 .人 机 交互 功能 设计 、 信 息 与 知识 内 
容 的 获取 组织 与 提供 等 ,是 数字 图 书馆 的 延伸 和 发 


间 的 评估 重点 是 有 用 性 ;用 户 与 系统 之 间 的 评估 应 注 
重 可 用 性 ;系统 与 内 容 之 间 应 着 重 评估 绩效 。G. Tsa- 
konas 等 "进一步 阐述 了 三 维 框架 ,分 析 了 用 户 .系统 
和 内 容 蕴含 的 关键 要 素 ,并 提出 了 有 用 性 、 可 用 性 和 绩 
效 评估 的 标准 和 子 标准 。 针 对 有 用 性 , 目标 属性 和 资 
局 性 是 评估 的 标准 ;可 用 性 以 有 效 性 ,效率 和 用 户 满 
为 评估 的 标准 ; 查 准 率 、 查 全 率 、 相 关 性 和 反应 时 
间 三 评估 系统 的 主要 标准 。 这 些 标准 的 提出 丰富 和 完 
善 工 N. Fuhr 等 提出 的 数字 图 书馆 评估 的 三 维 模型 ,也 
产量 考 如 何 评估 信息 服务 类 系统 提供 了 借鉴 。 

入 基于. Saracevic 的 评估 框架 及 分 层 交 互 模型 ， 
YC 


-Zhang” 从 数字 图 书馆 不 同 的 利益 相关 者 的 视角 出 
改线 展 数字 图 书馆 的 评估 研究 ,提出 了 一 个 整体 性 
的 数字 图 书馆 评估 模型 。 该 模型 强调 ;不同 评估 标准 
的 重要 程度 对 不 同 的 利益 相关 者 而 言 存在 差异 , 即 不 
同 购 利益 相关 者 针对 数字 图 书馆 的 不 同方 面 ,如 环境 、 
技术 .用户 、 界 面 .内 容 和 服务 进行 评估 时 ,往往 选择 不 
同 的 评估 标准 。 如 用 户 在 评估 界面 时 , 仅 考虑 需 付出 
的 努力 和 交互 支持 ,然而 ,在 评估 技术 时 ,绩效 和 效率 
则 是 他 们 选择 的 评估 标准 。Y. Zhang 的 研究 启示 我 们 
数字 图 书馆 的 整体 性 评估 可 从 数字 图 书馆 的 不 同 要 素 
出 发 加 以 考虑 ,同时 要 考虑 不 同 利益 相关 者 的 需求 。 
李 月 琳 等 "的 研究 则 在 以 往 研究 的 基础 上 ,提出 
有 效 的 数字 图 书馆 交互 功能 的 设计 是 数字 图 书馆 成 功 
的 保障 的 观点 。 因 而 ,基于 交互 这 一 核心 要 素 评估 数 
字 图 书馆 是 必要 的 。 为 此 ,他 们 将 任务 融入 用 户 的 交 
互 模型 中 ,构建 了 数字 图 书馆 的 三 维 交互 模型 。 三 维 
即 指 任务 ,数字 图 书馆 的 支持 技术 及 信息 资源 ,而 用 户 
是 交互 的 核心 。 他 们 进一步 探讨 不 同 的 交互 维度 如 何 
影响 用 户 从 不 同 视角 对 数字 图 书馆 的 评估 。 通 过 实验 
研究 方法 ,基于 用 户 与 数字 图 书馆 交互 ,他 们 提出 了 数 
字 图 书馆 交互 功能 评估 模型 .基于 任务 的 数字 图 书馆 
评估 模型 和 整体 性 数字 图 书馆 评估 模型 。 研 究 发 现 ， 
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展 。 因 而 ,数字 图 书馆 评估 的 理论 、 思 路 和 方法 可 以 为 
知识 服务 平台 评估 提供 参考 和 借鉴 。 


4 知识 服务 平台 的 评估 


如 同 T. Saracevic5 所 指出 的 ,数字 图 书馆 评估 的 
发 展 滞 后 于 其 实践 的 发 展 。 知 识 服务 平台 近年 来 蓬勃 
发 展 ,然而 ,如 前 所 述 , 知 识 服务 平台 评估 的 研究 和 发 
展 却 相对 滞后 。 本 文 试图 沿 着 T. Saracevic™ 探讨 数字 
图 书馆 评估 的 路 径 , 分 析 和 构建 知识 服务 平台 的 评估 
模型 , 即 从 “什么 是 知识 服务 平台 ?” 入 手 , 探 讨 “为 什 
么 要 评估 知识 服务 平台 ?”“ 评 佑 什么 ?”“ 评 估 的 标准 
是 什么 ?” 及 “如 何在 评估 中 应 用 这 些 标准 ?” 
4.1 什么 是 知识 服务 平台 ? 

无 疑 ,知识 服务 平台 是 提供 知识 服务 的 信息 服务 
类 系统 。 不 同 于 传统 的 信息 检索 系统 .搜索 引擎 和 数 
字 图 书馆 仅 以 提供 信息 为 其 服务 的 主要 内 容 ,知识 服 
务 平 台 增 加 了 知识 服务 这 一 核心 内 容 。 传 统 的 信息 服 
务 以 信息 搜集 ,整理 传递 等 信息 工作 为 主要 内 容 , 知 
识 产 品 的 提供 通常 不 是 信息 服务 机 构 的 工作 范畴 ; 知 
识 服 务 则 以 提供 问题 的 知识 解决 方案 为 核心 ,帮助 用 
户 解决 他 们 的 问题 。 正 如 张晓林 "指出 的 ,信息 服务 
着 重 于 “我 是 否 提 供 了 您 需要 的 信息 ?”, 而 知识 服务 
则 关注 “是 否 通 过 我 的 服务 解决 了 您 的 问题 ?”, 由 此 
可 见 信息 服务 与 知识 服务 的 区 别 。 所 以 ,知识 服务 平 
台 评 佑 的 核心 问题 应 该 有 别 于 数字 图 书馆 ,更 聚焦 于 
知识 服务 平台 是 否 帮 助 用 户 实现 了 “问题 解决 "的 初 
囊 。 

如 前 所 述 , 知 识 服务 平台 一 方面 是 数字 图 书馆 的 
拓展 和 延伸 , 即 在 数字 图 书馆 的 信息 服务 基础 上 ,增加 
了 知识 服务 的 功能 ,实现 对 原 有 数字 图 书馆 功能 的 提 
升 和 改造 ; 另 一 方面 ,一 些 知 识 服务 平台 从 一 开始 便 确 
定 了 知识 服务 的 核心 功能 ,以 知识 服务 为 主 、 信 息 服 务 
为 辅 的 建设 方针 ,着 力 打造 新 型 的 信息 服务 类 系统 。 
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目前 知识 服务 平台 可 以 分 为 三 种 类 型 :其 一 是 企业 依 


评估 而 言 ,评估 技术 能 力 和 系统 绩效 的 同时 ,关注 其 对 


据 自 身 状 态 及 需求 ,整合 行业 资源 构建 的 面向 某 一 行 
业 的 知识 服务 平台 ,如 LOTUS ,微软 和 清华 同方 开发 的 
面向 企业 的 知识 管理 平台 ,面向 科技 型 中 小 企业 的 企 
业 知 识 服务 平台 等 。 其 二 是 以 信息 服务 类 系统 为 基 
础 ,在 此 基础 上 拓展 新 的 知识 服务 功能 、 基 于 数据 库 提 
供 知 识 检索 服务 的 数据 库 类 型 平台 。 这 类 知识 服务 平 
台 的 衍生 以 数字 图 书馆 及 各 大 出 版 商 构 建 的 索引 数据 
库 为 代表 。 如 国内 的 中 国 知 网 .万 方 、 维 普 , 国 外 的 
Web of Science .Emerald Elsevier 等 。 其 三 是 面向 社会 
公众 依托 互联 网 进行 知识 共享 的 百科 类 及 问答 式 知 识 
服务 平台 ,如 Wikipedia、Quora、 知 乎 .得 到 等 。 
4.2 为 什么 要 评估 知识 服务 平台 ? 

本 如 同 建设 数字 图 书馆 ,知识 服务 平台 也 需 投 入 大 


量 重 资金 加 以 建设 和 维护 ,包括 软 硬 件 的 建设 和 维护 ， 
信息 内 容 的 购买 和 获取 ,人 员 的 招募 和 培训 等 。 如 此 
的 资金 投入 ,其 社会 效益 和 经 济 效益 如 何 ? 是 否 
达到 了 预期 的 效果 ? 为 回答 这 些 问题 ,评估 知识 服务 
种 又 是 十 分 必要 的 。 基 于 知识 服务 平台 性 质 的 不 同 ， 
对 于 些 具有 公益 性 质 的 知识 服务 平台 而 言 ,社会 效益 
世纪 能 是 更 为 重要 且 需 要 着 重 评估 的 方面 。 

在 技术 层面 上 ,知识 服务 平台 提供 的 技术 支持 是 
序 效 地 提供 了 知识 服务 也 是 需要 评估 的 问题 。 随 着 


计量 技术 大 数据 技术 和 人 工 智能 技术 的 不 断 发 展 和 


书号 ,在 信息 搜索 ,知识 创造 和 创新 信息 与 知识 呈现 
方 小 上 必 将 越 来 越 多 地 利用 这 些 新 的 技术 、 手 段 和 方 
法 三 然而 ,这 些 新 技术 多 大 程度 上 可 以 帮助 我 们 实现 


日 户 需求 的 支持 ,采用 用 户 导 向 的 评估 途径 无 疑 也 是 
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十 分 重要 的 。 
4.3 评估 什么 ? 
早期 信息 检索 系统 评估 和 数字 图 书馆 评 佑 无 疑 为 


知识 服务 平台 的 评估 葛 定 了 基础 。 知 识 服务 平台 作为 
言 息 服务 类 系统 与 前 两 者 具有 很 多 相似 性 ,如 包括 技 
术 内 容 . 界 面 . 服 务 . 交 互 . 和 用 户 等 要 素 。 评 估 也 应 
从 不 同 的 要 素 切 人 ,实现 对 知识 服务 平台 的 局 部 或 整 
体 性 评估 。 

4.3.1 技术 知识 服务 平台 在 信息 服务 系统 的 基础 
上 融入 了 许多 重要 的 新 技术 ,如 通过 大 数据 技术 改善 
知识 服务 平台 的 运行 和 管理 ;通过 网 格 技术 改进 信 
息 资源 发 现 , 建 立 知 识 网 络 ，“ ;基于 本 体 技术 构建 
面向 专业 服务 的 知识 服务 平台 ;利用 多 语言 信息 发 
现 技术 和 异 构 数 据 库 整 合 技术 集成 信息 资源 ;使 用 推 
送 技术 .数据 挖掘 技术 .导航 库 技 术 和 智能 代理 技术 实 
现 用 户 需求 的 分 析 和 个 性 化 .定制 化 服务 等 。 将 如 此 
众多 的 技术 整合 在 一 起 ,如 何 实现 最 佳 的 系统 绩效 并 
使 投入 产 出 最 大 化 ,是 研究 和 实践 界面 临 的 基本 问题 ， 
也 是 评估 的 意义 所 在 。 

4.3.2 内 容 内 容 是 满足 用 户 需 求 的 核心 。 知 识 服 
务 要 提供 为 用 户 解决 问题 的 方案 ,知识 服务 平台 需要 
将 网 络 上 的 各 种 信息 资源 集成 整合 ,形成 知识 产品 。 
不 同 的 知识 服务 平台 因 其 所 面向 的 用 户 群体 的 差异 ， 
在 提供 的 内 容 上 也 各 有 侧重 。 由 数字 图 书馆 延伸 而 来 
的 知识 服务 平台 在 原 有 功能 的 基础 上 ,建设 面向 特定 


短 诅 服务 的 目的 ”其 在 知识 服务 方面 的 能 力 如 何 却 是 
需要 评估 的 。 信 息 检索 系统 及 数字 图 书馆 评估 发 展 的 
历史 启示 我 们 ,只 有 通过 评估 ,才能 发 现 系统 和 技术 存 
在 的 不 足 和 问题 ,才能 为 进一步 完善 知识 服务 平台 的 
技术 支持 提供 指导 。 

此 外 ,知识 服务 平台 的 主要 服务 对 象 是 用 户 ,包括 
个 体 和 机 构 用 户 。 知 识 服务 平台 提供 的 服务 怎样 是 
香 满 足 了 用 户 的 知识 需求 ”是 否 能 帮助 用 户 有 效 地 解 
决 问题 ?这 些 问题 的 回答 ,一 方面 可 以 帮助 了 解 知识 
服务 平台 是 否 达到 预期 的 目的 ; 另 一 方面 ,更 为 重要 的 
是 可 以 从 用 户 的 视角 帮助 知识 服务 平台 丰富 内 容 建 
设 .改善 系统 设计 .提高 服务 质量 。 对 信息 检索 系统 评 
估 的 理论 和 实践 的 长 期 探究 ,催生 了 用 户 导向 的 信息 
系统 评估 ,确立 了 以 用 户 为 核心 的 评估 理念 ,有 效 地 帮 
助 信息 检索 系统 改善 服务 和 与 用 户 的 交互 ,为 提升 信 
息 检索 系统 的 绩效 作出 了 贡献 。 对 于 知识 服务 平台 的 


学 科 专 业 的 知识 仓库 ,构建 基于 自身 和 网 络 资源 的 知 
识 网 络 , 根据 用 户 自 喘 特 点 提供 个 性 化 ` 定 制 化 内 
容 “ ;公共 知识 服务 平台 面向 的 用 户 是 普通 大 众 , 其 
提供 的 内 容 十 分 广泛 ,如 质量 监督 社会 保障 、 医 疗 卫 
生 、 住 房 教育、 食品 .交通 .法律 和 金融 .就 业 与 创业 等 
方面 的 知识 内 容 , 赛 括 了 衣食 住 行 及 工作 .生活 的 方 方 
面 面 ” ;面向 特定 行业 的 知识 服务 平台 为 专业 用 户 解 
决 问题 提供 更 具 针 对 性 、 专 业 性 的 内 容 。 如 在 医学 行 
业 中 ,知识 服务 已 经 突破 传统 医学 知识 库 的 方式 ,形成 
了 以 Clinical Evidence 、DynaMed 、Essential Evidence 
Plus 、MD Consult .UpToDate .ClinicalKey 等 为 代表 的 医 
学 知识 服务 平台 ,其 所 面向 的 用 户 涵 盖 学 生 ,教师 及 医 
患 双方 ,在 权威 医学 数据 的 基础 上 提供 教育 .患者 交 
流 .问题 求解 服务 ,同时 支持 疾病 诊断 治疗 ,疾病 控制 
和 预防 等 多 种 临床 活动 ””。 然 而 ,如 此 丰富 的 内 容 
能 否 满足 用 户 的 需求 ? 是 否 能 帮助 用 户 解 决 他 们 的 问 
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题 ? 能 否 为 用 户 带 来 新 知 或 带 来 启发 ,帮助 他 们 找到 
问题 解决 的 方案 ?为 了 回答 这 些 问题 ,开展 知识 服务 
平台 的 内 容 评 估 无 疑 是 必要 的 。 

4.3.3 界面” 用户 界面 一 直 是 信息 系统 设计 和 系统 
评估 所 关注 的 重点 。N.J. Belkin 等 通过 对 欧洲 空间 研 
究 所 的 4 个 信息 系统 界面 项 目 进行 研究 ,提出 信息 系 
统 界面 设计 的 导向 要 以 用 户 目 标 、 任 务 和 特征 为 基 
准 。 李 月 琳 等 "对 数字 图 书馆 界面 的 评价 标准 进 
行 了 梳理 和 研究 ,提出 了 影响 用 户 与 界面 交互 效果 的 
关联 性 和 预测 性 交互 子 维度 ,并 将 界面 视 为 用 户 与 技 
术 交 互 的 主要 场所 。 eR tg Hl ea 
着 同样 的 角色 ,是 沟通 用 户 与 系统 内 容 的 桥梁 
ea a eas orl An 
们 的 问题 的 关键 。 然 而 ,如 何 才能 为 用 户 提供 可 用 、 有 


过 与 百度 搜索 进行 对 比 ,提出 微 博 搜 索 在 检索 专业 性 
网 站 、 知 识 信息 及 时 间 成 本 上 的 缺陷 。 此 外 ,部 分 研究 
a 
索引 擎 ”' 、 微 博信 息 质量 ” ,政府 网 站 绩效 ” 、 界 面 
可 用 性 ”进行 评价 。 这 些 研究 及 以 往 的 基于 用 户 导 
向 的 信息 检索 系统 评估 人 研究 为 如 何在 知识 服务 平台 情 
境 下 开展 用 户 评估 提供 了 有 益 的 启示 。 

4.3.6 交互 ， 相 较 于 传统 的 信息 系统 ,交互 性 在 知识 
服务 平台 的 评 佑 中 显得 尤为 重要 。 其 一 是 因为 科学 技 
术 的 发 展 进 一 步 拓 展 了 人 与 机 器 的 交互 方式 ,语音 检 
索 .拍照 检索 等 新 的 检索 方式 为 用 户 提供 了 更 多 的 检 
索 途 径 , 基 于 AR 和 VR 技术 的 信息 检索 .浏览 .学习 和 
娱乐 已 经 开始 应 用 于 实践 。 新 技术 应 用 于 提供 知识 资 
源 的 知识 服务 平台 是 一 种 趋势 也 是 一 种 必然 ;其 二 ,由 


效 租 易 用 的 交互 界面 ? 一 方面 要 考虑 技术 手段 ; 另 
加 面 ,用 户 的 体验 和 感知 也 应 是 界面 设计 考虑 的 重要 
于 漠 , 而 评估 是 获知 这 些 因素 的 重要 手段 。 

C4 ”服务 ”服务 是 知识 服务 平台 的 核心 能 力 和 基 
可 要 求 。 目 前 在 实践 应 用 中 的 知识 服务 平台 存在 不 同 
的 和 型 ,其 服务 模式 也 各 有 特点 ,基于 传统 数字 图 书馆 
短 缘 而 来 的 知识 服务 平台 在 服务 模式 上 继承 了 已 有 的 
规 莉 和 体系 ,包括 用 户 完成 检索 过 程 的 自主 服务 模式 、 
大 让 化 服务 模式 和 个 性 化 服务 模式 ,自主 服务 模式 意 
味 著 用 户 独 自 完成 检索 过 程 ;专业 化 服务 模式 通过 参 
欧 源 询 服务 ,学科 化 服务 和 门 站 式 服务 体现 知识 服务 
职 获 ;个 性 化 服务 模式 则 是 根据 用 户 需求 和 特点 向 用 
户 推送 相关 内 容 ” -” 。 基 于 互联 网 而 诞生 的 知识 服 
务 品 台 如 * 知 乎 “得 到 "等 则 采用 基于 用 户 的 知识 共 
享 方式 提供 服务 ,基于 海量 的 数据 资源 ,通过 知识 推 
送 . 订 阅 .学 习 , 检 索 等 功能 为 用 户 提供 知识 服务 。 
这 些 服务 的 模式 是 否 满足 了 用 户 的 需求 ”是 否 为 用 户 
提供 了 更 便捷 .高 质量 .人 性 化 的 服务 则 需要 通过 评估 
来 实现 。 
4.3.5 用 户 “ 用 户 是 知识 服务 平台 面向 的 对 象 ,在 以 
ee pe rn et 
况 .使 用 及 接受 意愿 的 测量 实现 对 系统 的 评估 。 
WTA 
馆 的 交互 功能 评估 的 关联 性 和 预测 性 子 维度 。 常 
ee 
建 信息 推送 用 户 接受 模型 ,并 通过 实证 研究 确定 影响 
图 书馆 信息 推送 服务 用 户 接受 的 因素 ,提出 信息 推送 
服务 模式 的 改进 建议 。 刘 明珠 和 杨 建 林 5 基于 用 户 
的 7 种 信息 需求 对 新 浪 微 博 搜索 的 效果 进行 评估 , 通 
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于 实践 的 需求 ,学 界 对 于 人 机 交互 的 研究 不 断 增强 。 
评估 人 研究 中 系统 视角 向 用 户 视 角 的 转变 不 断 深化 ,用 
户 成 为 系统 建造 .设计 、 服 务 的 核心 ,而 今 用 户 已 经 从 
被 动 适 应 转变 为 主动 要 求 的 角色 ,系统 交互 性 的 好 坏 
直接 影响 用 户 的 使 用 体验 其 至 使 用 意愿 。 因 此 ,对 交 
互 性 的 评价 理应 成 为 知识 服务 平台 评估 中 的 重要 方 
面 。 
4.4 评估 的 标准 是 什么 ? 

通过 借鉴 信息 检索 系统 评估 和 数字 图 书馆 评估 的 
标准 和 维度 ,结合 知识 服务 平台 的 任务 和 目的 ,笔者 构 
建 了 针对 知识 服务 平台 的 评 佑 要素、 评估 标准 和 测量 
指标 如 表 1 所 示 : 

表 1 知识 服务 平台 


评估 的 要 素 和 标准 


评估 要 素 ”评估 标准 测量 指标 
技术 有 效 性 平均 查 准 率 、 相 对 查 全 率 、 浏 览 效 果 
智能 化 智能 程度 
效率 响应 时 间 
内 容 有 用 性 帮助 问题 解决 .帮助 获取 新 知 、 带 来 启发 和 灵感 
界面 可 用 性 易 用 性 ,易学 性 容错 能 力 、 易 记忆 性 、 效 果 、 效 率 


肛 务 质量 满意 度 .持续 使 用 意愿 .推荐 意愿 
用 户 ” ”任务 完成 完成 时 间 完成 质量 
问题 解决 有 效 性 、 针 对 性 、 启 发 性 


交互 ”支持 程度 


表 1 中 的 评估 要 素来 源 于 对 信息 服务 类 系统 评估 
的 常用 要 素 “ 。 评 估 标 准 中 的 有 效 性 和 效率 是 传统 
信息 检索 系统 评估 的 常用 指标 ;有 用 性 .可 用 性 是 数字 
图 书馆 评估 的 重要 指标 ””; 任务 完成 程度 .交互 支 
持 程 度 \ 满 意 度 则 是 基于 任务 的 数字 图 书馆 评估 的 重 
要 指标 “” 。 问 题 的 解决 程度 是 知识 服务 平台 的 目的 


户 友 好 性 、 需 付出 的 努力 


李 月 琳 ， 韩 宏 亮 . 从 信息 检索 系统 评估 到 知识 服务 平台 评估 [可 .图 书 情报 工作 ,2019 ,63(1) :52 -59. 


所 决定 的 。 如 前 所 述 , 知 识 服务 不 同 于 传统 的 信息 服 
务 ,以 解决 用 户 的 问题 为 其 主旨 呈 。 因 而 ,评估 知识 
服务 平台 的 绩效 加 入 “问题 解决 "程度 的 度量 标准 和 
评价 指标 是 必要 的 。 再 有 ,对 服务 质量 的 关注 来 源 于 
长 期 以 来 信息 服务 机 构 及 系统 对 服务 质量 的 重视 ,将 
这 一 理念 移植 到 知识 服务 平台 评估 也 是 顺理成章 的 。 
智能 化 指标 用 以 衡量 人 工 智能 技术 在 知识 服务 平台 的 
应 用 和 智能 知识 服务 的 实现 程度 。 该 指标 的 纳入 是 对 
蓬勃 发 展 的 人 工 智能 技术 及 应 用 的 回应 ,知识 服务 平 
台 植 和 智能 化 的 服务 性 能 是 必然 的 发 展 ,因而 ,评估 也 
应 考虑 知识 服务 平台 的 智能 化 程度 。 

具体 测量 指标 一 方面 继承 了 信息 检索 系统 绩效 评 
价 指标 (包括 平均 查 准 率 、 相 对 查 全 率 、 浏 览 效 果 ) 和 
本 用 性 评价 指标 (包括 易 用 性 、 易 学 性 ) 等 ; 另 一 方面 ， 
绪 售 知识 服务 平台 的 特点 及 各 种 功能 的 实现 要 求 . 问 
题解 决 程度 ,任务 完成 质量 .用户 满意 程度 等 提出 测量 
指 材 。 如 知识 服务 平台 系统 强调 对 问题 的 解决 ,因而 


评估 方法 方面 ,实验 研究 方法 是 信息 系统 评估 常 
用 的 研究 方法 ,从 Cranfield 检测 到 历时 20 余年 的 
TREC 会 议 ,实验 研究 方法 都 扮演 了 重要 的 角色 。 问 卷 
调查 也 是 可 选择 的 方法 之 一 。 为 使 评估 更 为 有 效 , 问 
卷 调查 后 的 跟踪 访谈 也 是 评估 中 常用 的 技巧 。 无 论 是 
进行 实验 研究 还 是 问卷 调查 ,都 应 注意 对 真实 用 户 和 
真实 情境 的 选择 。 当 前 系统 评估 研究 的 趋势 是 由 实验 
室 实验 转向 实地 实验 (field experiment) ,目的 就 是 为 了 
让 用 户 在 最 真实 的 情境 和 状态 下 呈现 出 最 本 质 、 自 然 
的 认 知 和 行为 特点 。 在 具体 的 操作 中 ,可 通过 任务 来 
激发 用 户 的 信息 需求 ,方式 之 一 是 使 用 用 户 现实 生活 
中 的 真实 工作 或 学 习 任 务 ,这 种 方式 所 获得 的 数据 真 
实 可 靠 , 但 是 也 存在 着 多 个 用 户 需 求 各 异 ,不 利于 比较 
和 分 析 的 弊端 ; 另 一 种 方式 是 运用 模拟 仿真 工作 任务 
情境 ,此 类 任务 通常 来 源 于 用 户 的 实际 需求 ,由 研 
究 人 员 进 行规 范 化 设计 并 设 定 具体 情境 ,模拟 仿真 工 
作 任 务 情境 的 有 效 性 在 不 同 研究 中 得 到 了 验证 ,是 交 


Nm 


需 填 眼 于 问题 解决 的 有 效 性 、 针 对 性 和 启发 性 ;对 内 容 
有 用 性 的 评估 也 应 围绕 问题 解决 的 程度 ,包括 帮助 问 
题 屠 决 .帮助 获取 新 知 、 带 来 启发 和 灵感 的 程度 。 

Aj 这些 标准 和 测量 指标 来 源 于 传统 信息 检索 系统 评 
仿 数 字 图 书馆 评估 ,尤其 是 用 户 导向 的 系统 评估 指 
栋 ,同时 结合 了 对 知识 服务 平台 的 目的 和 宗旨 的 解读 ， 
其 能 否 适用 于 知识 服务 平台 的 评估 仍 需 进 一 步 的 检 


4. 名 如 何在 评估 中 应 用 这 些 标准 ? 

“三 类比 数字 图 书馆 评估 ,知识 服务 平台 评估 同样 可 
分 汶 整 体 性 评估 和 局 部 评估 两 种 。 整 体 性 评估 的 内 容 
应 包括 表 1 中 的 所 有 评估 要 素 ;局 部 性 评估 则 关注 一 
个 或 几 个 部 分 并 进行 更 为 深入 的 探究 和 考察 。 另 一 方 
面 ,这 些 标准 和 测量 指标 可 作为 知识 服务 平台 的 基础 
评估 指标 ,具体 的 评估 实践 中 应 依据 评估 对 象 的 特性 
给 予 适当 调整 ,根据 需求 增删 或 细 化 标准 或 测量 指标 。 
具体 测量 指标 的 选择 应 立足 于 平台 所 服务 的 具体 人 群 
和 范围 ,着 重 关注 具体 的 用 户 任务 与 需求 ,以 为 用 户 提 
供 解决 方案 为 基本 导向 ,结合 平台 的 宗旨 ,考虑 评估 指 
标的 科学 性 和 适用 性 。 同 时 ,要 充分 利用 定性 和 定量 
的 数据 收集 和 分 析 方 式 , 注 重 运用 混合 数据 处 理 方法 ， 
结合 定性 和 定量 数据 分 析 解 释 评估 结果 。 此 外 , 表 1 
的 指标 体系 还 可 应 用 于 对 知识 服务 平台 评估 工具 的 开 
发 ,进一步 通过 实证 研究 确定 评估 标准 和 测量 指标 的 
有 效 性 ,开发 评估 量 表 , 确 立 完整 的 知识 服务 平台 评估 
体系 。 


互信 息 检 索 常用 的 任务 设计 方法 ”人 。 以 上 两 种 方 
式 , 在 研究 中 或 可 采用 其 中 一 种 ,或 可 两 者 结合 ,具体 
依 研 究 的 目的 而 定 。 此 外 , 随 着 大 数据 技术 的 发 展 和 
应 用 ,数据 挖掘 .情感 分 析 等 技术 日 至 成 熟 , 如 何 利用 
用 户 使 用 知识 服务 平台 .与 平台 交互 过 程 中 留 下 的 “ 足 
迹 ”, 即 大 量 的 数据 和 行为 轨迹 开展 评估 研究 ,是 值得 
深入 研究 的 课题 。 


本 文 基于 知识 服务 平台 是 信息 服务 类 系统 这 一 基 
本 观点 出 发 ,从 早期 信息 检索 系统 的 评估 切 和 人 ,回顾 了 
系统 评估 的 历程 及 方法 的 形成 ,介绍 了 数字 图 书馆 评 
佑 的 理论 模型 要素 和 主要 标准 ,并 基于 T. Saracevic 
的 评估 路 径 ,结合 信息 检索 系统 和 数字 图 书馆 评估 , 论 
述 了 知识 服务 平台 评估 的 要 素 和 标准 。 

相 较 于 传统 的 信息 检索 系统 和 数字 图 书馆 评估 ， 
知识 服务 平台 的 评估 体现 了 诸多 的 不 同 之 处 。 传 统 上 
我 们 评估 ”信息 ”检索 系统 ,而今 返 入 评估 “知识 ”服务 
平台 ,从 评估 信息 检索 的 效率 和 绩效 到 评估 知识 点 、 知 
识 单元 或 模块 检索 的 绩效 和 效率 ;从 评估 信息 获取 的 
自动 化 程度 到 评 佑 知识 获取 的 智能 化 程度 ;从 评估 信 
息 检索 系统 中 零散 的 知识 服务 到 评估 知识 服务 平台 的 
集成 化 的 知识 服务 ;从 评估 普遍 的 知识 提供 方式 到 评 
估 更 灵活 ,个 性 化 的 知识 提供 方式 ;从 评估 信息 检索 系 
统 是 否 提 供 了 支持 用 户 完成 其 任务 的 信息 资源 到 评估 
知识 服务 平台 是 否 提供 了 支持 用 户 解决 任务 相关 问题 
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和 完成 任务 的 知识 或 方案 。 这 些 不 同 ,总 含 着 人 类 在 
信息 处 理 和 获取 方面 的 进一步 提升 和 飞越 ,如 何 使 这 
些 不 同 更 具 现实 意义 ,需要 在 知识 服务 平台 开发 和 应 
用 实践 中 不 断 开 展 评估 工作 ,以 为 其 不 断 完善 和 提升 
提供 理论 和 实践 支持 。 从 这 一 角度 来 看 ,知识 服务 平 
台 的 评估 无 疑 是 至 关 重 要 的 ,我们 依然 任重道远 。 
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From the Evaluation for Information Retrieval Systems to the Evaluation for Knowledge Platform 
Li Yuelin Han Hongliang 
The Department of Information Resources Management, Business School, Nankai University, Tianjin 300071 

Abstract. [ Purpose/significance | With the development of knowledge platforms, it has been an important issue to 
improve the function and design of knowledge platform through systems evaluation. The article is aimed at exploring the e- 
valuation elements and criteria for the evaluation of knowledge platform. [ Method/process| The article is start up with 
the evaluation of information retrieval. It reviews related studies on the evaluation of information retrieval systems and dig- 
ital libraries, especially addressing the theoretical models, elements, and criteria of digital library evaluation. [ Result/ 
conclusion | Based on the review and discussion, the article identifies and addresses the elements and criteria for the eval- 
uation of knowledge platforms. 


Keywords.: knowledge service evaluation for knowledge platform conceptual framework 
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2 《图 书 情报 工作 》2018 年 优秀 审 稿 专家 


Cis 年 ,有 近 300 位 审 稿 专家 参加 了 《图 书 情报 工作 》 稿 件 的 同行 评议 工作 , 共 评 审 稿件 1 400 余 篇 次 ,审阅 6 篇 及 以 上 的 专家 有 100 余 
fe \ 高 质量 的 评审 为 《图 书 情报 工作 》 赣 选 高 质量 稿件 提供 了 保障 。 综 合 考虑 今年 以 来 的 审 稿 数量 、 质 量 和 时 效 ,评选 出 50 位 2018 年 优 
秀 审 稿 专 家 ( 名单 如 下 )。《 图 书 情报 工作 》 为 优秀 审 稿 专家 颁发 证 书 并 免费 赠送 一 年 期 刊 的 电子 版 。 感 谢 所 有 审 稿 专家 对 《图 书 情报 工作 》 的 


支持 | 


C9 以 下 优秀 审 稿 专家 按 姓名 拼音 排序 ) : 
姓名 工作 单位 刘 雪 立 。 新 乡 医学 院 期 刊 社 /河南 省 科技 期 刊 研究 中 心 
CE 如 江山 东 理工 大 学 科技 信息 研究 所 刘 效 恒 “北京 大 学 信息 管理 系 
CN 月 ”吉林 大 学 公共 卫生 学 院 马 捷 吉林 大 学 管理 学 院 
SS 内 宇 红 北京 理工 大 学 图 书馆 马 学 良 国家 图 书馆 
> 部 胜 利 武汉 大 学 信息 管理 学 院 莫 意 宏 。 南 京 农业 大 学 信息 科学 技术 学 院 
(部 小 搜 。 西 南大 学 计算 机 与 信息 科学 学 院 件 冬 梅 “吉林 大 学 公共 卫生 学 院 
Gi 爱 红 清华 大 学 图 书馆 裴 雷 南京 大 学 信息 管理 学 院 
“3 向 明 上 海 大 学 图 书馆 秦 鸿 。 电 子 科技 大 学 图 书馆 
(CB 佳 。 上 海 社会 科学 院 文学 研究 所 任 树 怀 “ 上 海外 国语 大 学 图 书馆 
甘 春 梅 “ 中 山大 学 邵 波 南京 大 学 图 书馆 
高 凡 ”西南 交通 大 学 图 书馆 腾 广 青 。 东 北 师范 大 学 信息 科学 与 技术 学 院 
韩 “ 坟 “西南 大 学 计算 机 与 信息 科学 学 院 王立 学 “中国 科学 技术 信息 研究 所 
胡 昌平 。 武 汉 大 学 信息 资源 研究 中 心 王 晰 冕 ”吉林 大 学 管理 学 院 
黄 由 北京 师范 大 学 政府 管理 学 院 王 延 飞 “北京 大 学 信息 管理 系 
黄 国彬 “北京 师范 大 学 政府 管理 学 院 吴 红 山东 理工 大 学 科技 信息 研究 所 
黄 令 贺 河北 大 学 管理 学 院 吴 振 新 ”中 国 科学 院 文献 情报 中 心 
姜 春 林 “大 连理 工大 学 人 文 与 社会 科学 学 部 科学 学 与 科技 管理 向 桂林 “中国 科 学 院 生物 物理 研究 所 
研究 所 间 ， 慧 ”中 国人 民 大 学 信息 资源 管理 学 院 
李刚 “南京 大 学 信息 管理 学 院 杨 新 源 重庆 大 学 图 书馆 
李 明 南京 大 学 信息 管理 学 院 张 广 饮 “北京 大 学 信息 管理 系 
李 武 上 海 交通 大 学 媒体 与 设计 学 院 张 哆 细 ”北京 大 学 信息 管理 系 
李 书 宁 北京 师范 大 学 图 书馆 张卫东 ”吉林 大 学 管理 学 院 
村 卓 卓 苏州 大 学 赵 “ 飞 “北京 大 学 图 书包 
刘 ” 冰 天 津 师范 大 学 管理 学 院 & 字 翔 ”南京 理工 大 学 
刘 ”斯 “中南 财经 政法 大 学 信息 与 安全 工程 学 院 视 忠 明 “中 国 科学 院 兰州 文献 情报 中 心 /中 国 科学 院 资源 环境 
刘 春 丽 “中 国医 科大 学 图 书馆 科学 信息 中 心 
刘 晓 娟 “北京 师范 大 学 政府 管理 学 院 
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